AI与未来战争：美开发军事自主系统的诸多隐患

转自：学术plus（ID：caeit-e）

作者：Mary ‘Missy’ L. Cummings

编译：学术plus 计宏亮 谭惠文

原载：https://www.chathamhouse.org

2017年秋季，英国皇家国际事务研究所(Chatham House)发布人工智能报告《Artificial Intelligence and the Future of Warfare》，本文为作者撰写该报告的一部初稿。

文中首先建立了一个了理论框架来整合：人工智能技术的现状、技术的优缺点以及未来可能出现的情况，同时也集中讨论了军事领域AI的应用，尤其聚焦军事自主系统的发展。该框架表明，计算机和AI在某些基于技能和规则的任务中优于人类，但在需要判断和存在重大不确定性的情况下，人类要优于计算机。鉴于AI的进步直接取决于工程师的专业技能，因此AI从军用向商用领域的转移，将使有关自主武器的政策更加复杂，而且会加大政府的部署和管理难度。

无人机与自主武器

无人驾驶飞行器（通常称为无人机）在军事和商用领域的同时兴起，也伴随着激烈的讨论，即是否应该完全禁止那些被某些机构贴上“杀手”标签的机器人。此类机器人，可以在空中、地面、或者水面和水下工作，理论上都融入了“人工智能”，使得它们能够独立执行任务。关于是否允许人工智能机器执行此类军事任务逐渐成为讨论的焦点。

鉴于此问题的复杂性，需要对人工智能下一个有效定义。而目前没有大家统一认可的定义，但对人工智能一般性的定义就相当于一台计算机系统可执行任务的能力，通常需要人类智能，包括视觉感知、语音识别和决策能力。

在对自主武器的争论中，即越来越难以区分商用无人机自主和军用无人驾驶飞行器的自主，这也是另一个需要考虑的关键因素。

机器人如何思考？

为了更好地理解人工智能的细微差别，首先要理解自动化系统和自主系统之间的区别。

• 自动化系统中，计算机通过一个明确的指令（if-then–else）、基于规则的结构进行推理，并以确定的方式进行推理，这意味着对于每个输入，系统的输出总是相同的。

• 自主系统是一个在给定一组输入条件下进行概率推理的系统，这意味着它可以在给定传感器数据输入条件下，对最佳可能动作过程进行猜测。与自动化系统不同，当给定相同的输入时，自主系统不一定每次都产生相同的行为输出，而是会产生一系列行为。
  

人类智能一般遵循“感觉-认知-行动”信息处理循环，即个体感知周围世界的事物、思考去做些什么，一旦他们对所做的选择权衡完毕，就付诸行动。人工智能被编程来做一些类似的事情，即计算机感知周围的世界，然后通过优化和验证算法来处理输入信息，并以类似人类的方式选择动作。图1就展示了一个嵌入人工智能的自主系统是如何以此方式进行“思考”并做出决定的。

 图1 自主系统人工智能的工作原理，资料来源: 改编自哈钦斯，卡明斯，德雷珀和休斯 (2015年).

人类与机器人之间的任务权衡

鉴于对自主机器人推理基础的了解，我们应该如何看待自主系统的设计问题，尤其是人类应该参与到何种程度？首要的问题是要清楚人类能够并应该监督自主系统的时机。这不仅涉及技术问题，也包含伦理和政策因素。

图2描是拉斯穆森（Rasmussen）SRK(技能、规则和基于知识的行为)分类法，用来明确表示专业知识（Expertise）和不确定性（Uncertainty）之间的关系。用来处理日益复杂的决策场景，包括自主武器操作的决策场景。

图2：不确定性和技能、规则、知识及专家推理之间的关系，计算机与人类信息处理的相对优势，资料来源：卡明斯（2014年）

基于知识的行为和由此产生的专业知识代表了最先进的认知推理形式，不确定性最高，如图2所示。基于规则的推理可以帮助决策者(人和/或计算机)确定可能的行动方案。然而，在存在高度不确定性的领域，通常很难把握哪一套规则更能适用。正是在这些不确定的情况下（根据定义是含糊不清的），算法可能无法理解解析空间，更不用说取得可行的解决方案了。

对于从事安全要求严格任务（如发射武器）的自主系统而言，关键问题是该系统能否解决模棱两可的问题，从而获得可接受的结果。可以想象，赋予一台自主无人机一项任务，以高命中概率去打击一个军事设施上的静态目标。事实上，许多国家都拥有可以做到这一点的导弹。然而，一架以个人为袭击目标的自主无人机，能否从它的实时图像中确定已经找到了这个特定的目标人，而后发射武器只杀死那个目标人，而不会杀死无辜的旁观者?目前来说，答案显然是否定的。

AI与军事系统

人工智能在军事系统中的发展，主要基于知识、专家推理的独立能力，但目前还没有在运行的军事自主系统。

大多数军用无人机只是稍微更先进一些：它们具备一些低水平的自主能力，可以使得它们在没有人类干预的情况下导航，甚至在一些情况下着陆，但是大多数无人机都严重需要人类干预才能执行任务。即使是那些可以飞越目标获取图像的无人机，仍然只是自动化操作水平而非自主水平，而且也不会像真正的自主系统那样在飞行中进行推理。

因此，全球范围内都如火如荼地进行自主系统的研究和开发。不少国家在其空中、地面、水上和水下飞行器上都取得了不同程度的进展，并努力进行军事自主系统的开发。比如，美国、欧洲和中国正在研发几种自主直升机，可以由战场上的士兵用智能手机直接操控。

 自主系统在军事应用中的几个阻力 

即使技术发展已经成熟，也不是都能成功应用，原因包括成本、始料未及的技术问题，当然也有机构和文化的因素。美国一直在努力使自主无人机进入作战状态，但由于多种因素，一直未能成功。

• 比如，尽管“F-22”战机存在重大技术问题，也几乎没有参加过战斗飞行，但美国空军仍考虑重启“F-22”生产线，这本身就是一个极其昂贵的选择，而且反对把更多投资用在无人机采购上。此外，“F-22”每小时的飞行成本为68362美元，而“捕食者”无人机的成本为3679美元；除了空对空作战任务，后者可以执行大部分与“F-22”相同的核心功能，而“F-22” 则由于技术问题无法执行任务。

• 再比如，美国海军的“X-47”飞机本来打算发展成一种自主战斗机/轰炸机，但尽管进行了多次成功的海上试验，它现在计划作为空中加油机来使用——与它最初的目的相去甚远。

• 美国空军和海军花重金采购载人“F-35”联合攻击战斗机，尽管该计划一直受管理和工程问题困扰,与其相关的特别是还在于争相推进自主技术的发展上。对于许多军人来说，无人机只能发挥辅助作用，但如果允许它们从事最负盛名的“尖端”工作，它们就会威胁到现状。

 技术开发重心：从军事领域向商业领域转变

其他机构方面的问题限制了自主系统的实施，其中最为重要的就是：先进技术开发重心从军事领域向商业领域转变。军事自主系统的发展十分缓慢，但无人机、无人驾驶等商用自主系统则在飞速发展。

无人驾驶的开发始于2004年DARPA的一个项目。这项计划在2007年结束时，无人驾驶汽车只能在封闭的道路上缓慢行驶，而且还会发生事故。十年后，汽车行业即将在全球范围内实现无人驾驶汽车的商业化。这一快速的进步是行业赞助的重大研发投资以及对数十亿美元汽车消费市场竞争的结果。与此同时，虽然该技术起源于DARPA，但是军用自主驾驶汽车的研发进展甚微。

图3为2014-2016年3年期间，在三个关键领域的研发支出情况，即：航空航天和国防；汽车；信息和通信。这些领域是自主系统开发的核心，其支出可以反应创新的速度和程度。

图3：2014-1016年各领域的研发开支（单位：十亿美元），信息来源：美国工业研究院（2016年）

航空航天和国防部门负责大部分军事自主系统的开发工作。然而，该领域的研发支出远低于其他两个领域，并且支出一直在下降。自主系统开发并不是美国国防工业的重点，它与传统平台的开发存在竞争，比如能力有限的有人驾驶战斗机（如“F-35”）和造价极其昂贵的激光武器。结果是，只有很少部分的国防研发资金投入到自主军事系统中。

相比之下，汽车领域的研发支出不仅是航空航天和国防工业的三倍，而且同时在美国和全球市场都保持增长势头。

 资金短缺与人才流失，是军事自主系统开发的最大隐患 

商业和军事自主研发支出的巨大差异可能会对最终的军事自主系统类型和质量产生直接影响。那么，国防公司是否有能力开发和测试安全、可控的自主系统，特别是那些能够发射武器的系统？

设计这种系统的工程师必须具备强大的硬件和软件专业知识。而在机器人技术、控制技术、机电一体化等相关领域，高素质人才的竞争十分激烈。推动了大量企业收购和买断大学研究团队的浪潮：2015年优步(Uber)公司买断了卡内基梅隆大学(Carnegie Mellon university)国家机器人工程中心(National Robotics Engineering Center)的40名高技能机器人专家。波士顿动力公司(Boston Dynamics)曾是美国一流的军用机器人研发公司，2013年被谷歌收购用于国内机器人研发，2016年多家消息人士报道称其将成为丰田公司无人驾驶汽车研发项目的收购目标。

在这些行业中，机器人专家和工程师的竞争，使得航空航天和国防行业无法吸引高端人才。因此，全球国防工业在技术创新方面落后于其商业同行，并随着最优秀、最聪明的工程师进入商业领域，这种差距只会越来越大。这就意味着，最终实战部署的军事自主系统可能会存在缺陷，或缺乏适当的保障和试验。因此，目前最为紧迫的问题是：国防工业是否有能力部署安全的半自主系统，更不用说完全自主系统。

目前最为紧迫的问题是：国防工业是否有能力部署安全的半自主系统？完全自主系统，就先别提了。

尽管有些人可能会表示，当前的研发和专业知识分布情况是竞争和自由市场带来的必然结果，但这并无法否认技术实力不足的事实，因为和商业系统相比而言，军事系统在自主系统方面的能力开始明显落后于前者。普通美国老百姓比战场上的士兵更有可能拥有无人驾驶汽车，恐怖分子网购的无人机的杀伤力可能超过军方无人机。

 技术获取的不平衡无疑将为军事行动带来不可预见的破坏力量 

例如，如果防务公司和政府继续保持现状，是否会导致一种潜在的权力转移：比如通过谷歌、亚马逊或Facebook租用关键的人工智能服务？谷歌长期以来一直与军方的合作保持距离，同时收购高度先进的机器人公司，并让这些公司原有的军事合同失效。如果军队只能从现成的商业供应商那里购买机器人和人工智能服务(如图像分析)，这无疑会同时对短期和长期的军事准备带来影响。

无人机发展史上的军事优势与目前商用无人机的能力之间的差距正在缩小。有关无人机武器化的视频现在可以在YouTube上经常看到，这段视频曾被认为是现役军队的专属范畴。小型创业公司不太可能生产出能够与美国空军“捕食者”（Predator）等极为先进的无人机相竞争的无人机，但在监视和通信方面，美国空军肯定会遇到此类企业的竞争。而且，尽管美国军方的高级研究机构DARPA在部署无人机运送部队方面遇到了困难，但据说中国的亿航（EHang）公司已经造出了一种商用无人机，可以运送乘客，而且还有几家商业公司正在开发用于普通公众的自主飞行器（例如Forum, 2016）。

考虑到目前无人机和其他机器人系统的商业开发程度，还有其他一些重要考虑因素，比如企业和国家急于将人工智能技术推向市场可能产生的潜在后果。在没有全面测试的情况下，部署新技术武器就可能会把军事人员和平民百姓同时置于危险之中。不过，商用自主系统的快速发展可能会使人们能正常接受自主系统用于军事和民用，这也会鼓励国家军队资助开发此类系统，使其能发展到与载人系统领域的投资更相匹配的水平。与此同时，目前还尚不清楚民用自主无人机的兴起将如何影响民众对自主军事平台（包括武器在内）的态度和看法。

前方荆棘之路

毫无疑问，人工智能将成为世界军事未来的一部分，但形势正在迅速变化，而且可能以破坏性的方式发生变化。虽然人工智能正在进步，但考虑到目前努力使计算机具备真正的知识和基于专家经验的做法，以及感知传感器的局限性，人工智能要想在高度不确定的环境下接近人类智能，还需要很多年的路要走。

鉴于人工智能目前无法在如此高风险的环境下进行推理，许多人希望禁止自主武器的想法是可以理解的，但是由于这一领域非常复杂，所以要禁止也必须仔细界定范围。例如，从本质上讲，自主武器这个词是用来描述实际意义上的武器——比如无人机上的导弹——还是无人机本身？无人机导弹的自主制导系统很可能与那些用来快递包裹的自主系统惊人地相似，因此禁止一种系统的同时也可能会影响另一种系统。随着商业市场的日益发展壮大，由此而来的技术有望在某些方面超越军事领域的能力，而且有可能改变公众的看法，那么人们将会怎么样看待这些技术？

商业市场的快速扩张会对自主系统的开发工作产生影响，但不能被夸大，同时在短期内还有一个更大的问题，就是如何充分理解人工智能专业知识的权力基础从军事向商业企业的明显转移所产生的全球影响？机器、计算机和机器人变得越来越“聪明”，主要是因为机器人专家和相关工程师变得越来越聪明，所以这一相对较小的专家群体正成为一种至关重要的商品。大学对这种需求的反应迟缓，政府单位和工业部门在提供奖学金机制以激励学生学习人工智能领域知识方面也表现落后。

最后，商业信息技术和汽车领域的发展，无论是在吸引顶尖人才还是扩大日常商业产品的自主系统能力方面，都可能会成为一把双刃剑，这无疑将会以一种无法想象的方式对全世界的军队产生影响。

一网打尽系列文章，请回复以下关键词查看：

创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧

热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估

预见未来：预见2016 |预见2020  | 预见2025 | 预见2030  | 预见2035 | 预见2045  | 预见2050

前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 |  基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | 5G | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器

先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 直升机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器

未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 | 反卫星

领先国家：美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 | 以色列 | 印度

前沿机构：战略能力办公室 | DARPA | 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 | 阿里 | 俄先期研究基金会 | 军工百强

前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普

专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨

全文收录：2018文章全收录 | 2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录

其他主题系列陆续整理中，敬请期待……